[新機能] Amazon Redshift integration for Apache Spark が発表されました #reinvent

はじめに

現在開催中のAWS re:Invent 2022。今日はAdam Selipskyの Keynoteがありました。その会場でAmazon Redshift integration for Apache Sparkが発表されました！

Amazon Redshift integration for Apache Spark

AWSの公式ブログにて詳細が発表されています。

• New – Amazon Redshift Integration with Apache Spark
• Announcing Amazon Redshift integration for Apache Spark with Amazon EMR

これまでAmazon EMRやAmazon SageMaker、AWS GlueでApache Sparkを使いたい場合、サードパーティのApache Sparkコネクタを使ってAmazon Redshiftに接続する必要がありました。本機能はAmazon Redshift と Apache Sparkを統合するものであり、Redshift及びRedshift ServerlessでSparkアプリケーションを簡単に構築/実行できるようになるとのこと。

本機能は今日から即時利用可能であり、全てのリージョンで使えます。サポートするバージョンはAmazon EMR 6.9、AWS Glue 4.0、Amazon Redshift全てです。

Shift from manual to automatic. ☁️??

With Amazon Redshift integration for Apache Spark, you can cut out the cumbersome process of setting up a third-party connector—reducing the time it takes to drive business insights & #ML tasks. #AWS #reInvent

? https://t.co/RH1dJ1UCbi pic.twitter.com/XiC8zKQRdw

— Amazon Web Services (@awscloud) November 29, 2022

さいごに

Sparkを活用するユースケースでダイレクトにRedshiftを活用できるようになります。これは熱いアップデートですね！